Id

В методологии dataCraft Core используется три уровня идентификации объектов:

id — это уникальный идентификатор, который создаётся автоматически для каждого объекта и не предназначен для редактирования. Обычно представляет собой числовое значение или хэш, сгенерированный системой. Позволяет системе однозначно идентифицировать и извлекать объекты.

Характеристики:

  • Может содержать цифры, символы, латинские буквы, но не допускается использование пробелов.
  • Уникален и не изменяется после создания объекта.
  • Генерируется автоматически.

Пример использования:
В интерфейсе dataCraft можно подключать источники данных:
add_datasource_dataCraft_example.jpg

При добавлении нового источника, ему присваивается id и данные об источнике записываются в конфиг datasources:

{
    "datasources": {
        "14": {
            "source_type": "yd",
            "account_name": "adventum-client2",
            "project": "datacraft",
            "preset": "yd_default", 
            "source_class": "ads_cabinet"
        }
}

Здесь “14” - это id источника данных.

Далее, по этому id, его можно будет уникально идентифицировать. Например, когда пользователь формирует в интерфейсе dataCraft итоговый датасет и выбирает данные из каких источников должны в него попасть, в интерфейсе отображается полное название источника, а в конфиг datasets записывается id источника:

"datasets": {
    "event_table": { 
        "sources": ["14"],
        "attr_model": "my_first_model"
        }
     }

Далее, при формировании файлов моделей для слоя dataset (см. dbt Package) DAG’ом generate_models, с помощью id из конфига datasources извлекаются нужные данные для датасета.